Cross-Tokenizer On-Policy Distillation via Byte-Prefix Marginalization
基于字节前缀边缘化的跨分词器在线策略蒸馏
🧭 跨 tokenizer 蒸馏训练
University of Chinese Academy of Sciences · KwaiKAT Team · Zhejiang University · The Chinese University of Hong Kong
在共享字节空间将教师分布边缘化到学生词汇，无损对齐概率质量，大幅提升跨分词器蒸馏性能
📌 工作参考价值（4 点）
- 若业务中需融合多个使用不同 tokenizer 的文本模型（如商品标题/描述编码器、多语言模型），可借鉴 BPM 将教师分布无损映射到学生词汇，避免丢弃概率或语义错配。
- 字节前缀映射表可离线构建，蒸馏时仅需查表聚合，工程可行；残差类别处理未匹配质量，保证分布完整，可直接移植到自定义蒸馏 loss。
- 对于多模态推荐模型（图文混合 tokenizer 不同），BPM 提供了一种统一概率空间的思路，有助于跨模态知识迁移。
- 在 Agent 工具调用或搜索链路的 LLM 蒸馏中，若教师和学生分词器不一致，BPM 能保留关键 token 的分布结构，减少性能损失。